从头学pytorch(十三):使用GPU做计算

您所在的位置：网站首页 › pytorch 显卡共享内存 › 从头学pytorch(十三):使用GPU做计算

从头学pytorch(十三):使用GPU做计算

2023-04-14 11:27| 来源: 网络整理| 查看: 265

GPU计算

默认情况下,pytorch将数据保存在内存,而不是显存.

查看显卡信息

nvidia-smi

我的机器输出如下:

Fri Jan 3 16:20:51 2020 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 418.67 Driver Version: 418.67 CUDA Version: 10.1 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | |===============================+======================+======================| | 0 GeForce GTX 105... Off | 00000000:01:00.0 Off | N/A | | N/A 42C P0 N/A / N/A | 1670MiB / 4042MiB | 0% Default | +-------------------------------+----------------------+----------------------+ +-----------------------------------------------------------------------------+ | Processes: GPU Memory | | GPU PID Type Process name Usage | |=============================================================================| | 0 1572 G /usr/lib/xorg/Xorg 601MiB | | 0 4508 G compiz 231MiB | | 0 4935 G ...equest-channel-token=592189694510481540 486MiB | | 0 5574 G ...quest-channel-token=4527142888685015556 328MiB | | 0 10049 G ...passed-by-fd --v8-snapshot-passed-by-fd 21MiB | +-----------------------------------------------------------------------------+

单卡,gtx 1050,4g显存.

查看gpu是否可用

torch.cuda.is_available()

查看gpu数量

torch.cuda.device_count()

查看当前gpu号

torch.cuda.current_device()

查看设备名

torch.cuda.get_device_name(device_id)

把tensor复制到显存使用.cuda()可以将CPU上的Tensor转换（复制）到GPU上。如果有多块GPU，我们用.cuda(i)来表示第 \(i\) 块GPU及相应的显存（\(i\)从0开始）且cuda(0)和cuda()等价。

x=x.cuda()

直接在显存上存储数据

device = torch.device('cuda') x = torch.tensor([1, 2, 3], device=device) 或者 x = torch.tensor([1,2,3]).to(device)

如果对在GPU上的数据进行运算，那么结果还是存放在GPU上。

y = x**2 y

输出：

tensor([1, 4, 9], device='cuda:0')

需要注意的是，存储在不同位置中的数据是不可以直接进行计算的。即存放在CPU上的数据不可以直接与存放在GPU上的数据进行运算，位于不同GPU上的数据也是不能直接进行计算的。

z = y + x.cpu()

会报错:

z=y+x.cpu() RuntimeError: expected device cuda:0 and dtype Long but got device cpu and dtype Long

完整代码

import torch from torch import nn is_gpu = torch.cuda.is_available() gpu_nums = torch.cuda.device_count() gpu_index = torch.cuda.current_device() print(is_gpu,gpu_nums,gpu_index) device_name = torch.cuda.get_device_name(gpu_index) print(device_name) x=torch.Tensor([1,2,3]) print(x) x=x.cuda(gpu_index) print(x) print(x.device) device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') x = torch.tensor([1, 2, 3], device=device) x = torch.tensor([1,2,3]).to(device) print(x) y=x**2 print(y) #z=y+x.cpu() 模型的gpu计算

同Tensor类似，PyTorch模型也可以通过.cuda转换到GPU上。我们可以通过检查模型的参数的device属性来查看存放模型的设备。

检查模型参数存放设备:

net = nn.Linear(3,1) print(type(net.parameters())) print(list(net.parameters())[0].device)

输出

cpu

在gpu上做运算．通过.cuda()将模型计算放到gpu.相应的,传给模型的输入也必须是gpu显存上的数据.

net = nn.Linear(3,1) print(type(net.parameters())) print(list(net.parameters())[0].device) net=net.cuda() x=torch.tensor([1,2,3]).cuda() net(x)

总结:

PyTorch可以指定用来存储和计算的设备，如使用内存的CPU或者使用显存的GPU。在默认情况下，PyTorch会将数据创建在内存，然后利用CPU来计算。 PyTorch要求计算的所有输入数据都在内存或同一块显卡的显存上。

【本文地址】

从头学pytorch(十三):使用GPU做计算

从头学pytorch(十三):使用GPU做计算

今日新闻

推荐新闻